引用本文
沈旺, 国佳, 李贺. 网络社区信息质量及可靠性评价研究*——基于用户视角. 现代图书情报技术, 2013, 29(1): 69-74
Shen Wang, Guo Jia, Li He. Research on Information Quality and Credibility Evaluation in Online Community——Based on User Perspective. New Technology of Library and Information Service, 2013, 29(1): 69-74   
Permissions
网络社区信息质量及可靠性评价研究* — — 基于用户视角
沈旺, 国佳, 李贺
吉林大学管理学院 长春 130025
本文系吉林大学“985工程”项目的研究成果之一。
摘要
采用扎根理论编码方法对网络社区语境下用户生成的信息质量及信息可靠性评价指标进行研究。分析两个讨论主题13 020个消息, 16.8%的消息中用户对信息质量和可靠性进行明确的评价。研究结果显示:(1)用户在对网络社区信息质量及可靠性评价时通常采用一个或少数几个评价指标; (2)用户对信息质量评价使用频率较高的指标有全面性、正确性、真实性, 对信息可靠性评价使用频率较高的指标有声誉、专业性、可识别性; (3)用户倾向于采用消极性指标对网络社区信息质量及可靠性进行评价。
关键词: 网络社区; 信息质量; 信息可靠性
Research on Information Quality and Credibility Evaluation in Online Community— — Based on User Perspective
Shen Wang, Guo Jia, Li He
School of Management, Jilin University, Changchun 130025, China
Abstract
This paper adopts Grounded theory coding methods to research on user-generated information quality and information credibility evaluation in the context of online communities, and analyzes a total of 13 020 messages of two discussion topics.16.8% of the messages have clear evaluation of information quality and credibility. The results show that:(I)the users usually use one or a few evaluation indicators to evaluate information quality and credibility in online community; (II)the user frequently use correctness, usefulness, specificity to evaluate information quality and reputation, professionalism, honesty (negative standard) to evaluate information credibility; (III) the users tend to use negative indicators to evaluate the quality and reliability of online community information.
Keyword: Online community; Information quality; Information credibility
1 引 言

Web2.0时代的到来, 使用户参与成为互联网的显著特征。普通网络用户是网络信息的主要生产者和传播者。用户依靠自身的知识结构、认知水平、经验等对信息质量进行评价, 评价结果直接导致了用户的信息行为。因此, 基于用户视角的网络社区信息质量及可靠性评价研究是网络信息传播、扩散理论研究的基础, 对识别网络舆情发展规律和构建网络舆情引导机制具有重要的价值。

2 网络信息质量及可靠性评价相关理论研究
2.1 网络信息质量评价研究综述

(1)国外网络信息质量评价研究.

信息质量评价的研究主要在信息科学领域。Barry[1]首先探讨了用户生成的网络信息质量评价指标体系。Barry 等[2]提出10个网络信息质量的评价指标, 包括信息的价格、特异性等。Schamber等[3]认为用户生成的信息质量评价指标体系包含5个主要指标:清晰、成本、可靠性、有效性和相关性。Crystal等[4] 和Maglaughlin等[5]的研究为这个结论提供了支持。Hirsh[6]发现对文本内容评价使用最多的指标是真实性, 其次是新颖、质量、便利、可访问性和权威性。Rieh[7]研究了影响用户评价网络信息质量的因素。Savolainen等[8]研究了检索用户对网页与超链接相关性的评价标准, 识别出18个用户生成的评价指标。Bateman[9]在信息搜索语境下对200名研究生进行调查, 构建了信息质量的三维度模型, 包括信息质量、信息可靠性、信息完整性三个维度。

(2)国内网络信息质量评价研究.

国内对网络信息质量评价研究较少, 刘冰等[10]构建了基于用户体验的信息质量综合评价体系, 根据信息体验层次将信息质量划分为三个维度。徐静[11]分析了信息、信息质量的概念和信息的外部供应商— — 顾客/用户的关系模型, 在此基础上讨论网络信息资源评价的基本标准。刘雁书等[12]探讨了网络信息质量评价指标的可获取性。李莉等[13]分析了在网络环境下, 用户对信息质量的感知。

(3)研究述评.

国外对网络信息质量评价主要关注于信息内容质量的评价, 而网络信息可靠性作为信息质量评价的一个维度, 没有对信息质量和信息可靠性的概念进行区分; 研究的语境主要集中在网络搜索环境, 对网络社区环境研究较少。国内研究主要集中在网络信息质量评价指标体系构建方面, 理论研究较多, 实证研究较少; 指标体系宽泛, 多为“ 大而全” 的指标罗列, 缺乏严谨清晰的内部逻辑和体例结构; 部分指标含义模糊, 易引起误解, 可获取性和实际操作性不强。因此, 本文从用户角度对网络信息质量和可靠性评价指标进行研究, 关注网络中的实际用户和真实的网络语境, 处理实际问题。

2.2 信息质量和信息可靠性概念界定

信息科学研究者经常使用长期质量来定义信息可靠性的概念[9]。可靠性是信息质量评价的一个因素, 例如Metzger[14]认为消息可靠性是信息接收者对消息的判断, 是对信息质量和资源可靠性的客观的认知。Rieh[7]将信息质量定义为一个用户标准, 信息具有卓越性或者在某些情况下具备真实性的特征。在操作层面上, 信息质量被标识为“ 用户认为信息是有用的、好的、及时的和准确的。

当可靠性与信息质量分开界定时, 可靠性的概念等同于可信性[15]。文献[16]表明可靠性是一个多元的概念, 已被定义为诚信、可信性、准确性、公平、公正和客观性。根据文献[7], 诚信是可靠性的核心, 因为其是善良和道德认知源头。一个人如果值得信任, 那么他所表达的信息是诚实的、注重语言选择的、不愿欺骗的、可信的、公正公平的。

综上所述, 网络信息质量评价主要关注信息内容质量, 网络信息可靠性评价则侧重于信息来源评价。因此, 为了更加清晰、明确地对数据进行处理, 本文对网络信息质量的评价主要针对信息内容质量评价, 信息可靠性评价主要针对作者进行评价。

2.3 扎根理论

扎根理论研究方法论是一个一般的研究方法论, 结合数据收集和分析, 采用一套系统性的应用方法形成一个关于某一实质领域的归纳性理论[17]。扎根理论可以为研究者提供系统分析定性数据的方法。扎根理论方法可以通过三步编码程序完成:一级编码(开放式编码)、二级编码(轴心编码, 又称关联式编码)、三级编码(选择式编码, 又称核心式编码)。在一级编码中, 研究者为所有关键的概念加以标注, 然后把这些开放式登录作为共同主题, 在关联式登录中检验, 二级编码在共同主题中再进一步提炼, 形成三级编码。

本文利用扎根理论的编码方法对网络信息质量和可靠性的评价指标进行质的归纳性描述、确定。

3 研究方案设计
3.1 网络信息质量和可靠性评价指标选择

选择网络信息质量及可靠性评价指标的出发点是Rieh[7]、Metzger[14]及 Wathen 等[15]构建的网络信息质量和可靠性评价指标体系。Barry[1]指出用户在实际应用环境中只会用到有限范围内的几个指标, 因此, 本文没有添加额外的指标。根据网络社区信息的特征— — 每条消息分成两个部分:信息发布者(即作者)和信息内容。将网络信息质量的评价定义为信息内容质量评价; 将网络信息可靠性评价定义为作者可靠性评价, 这有益于实验数据的获取。网络信息内容质量和作者可靠性的评价指标体系分别如表1和表2所示:

表1 信息内容评价标准指标体系
表2 信息可靠性评价标准指标体系
.

3.2 研究方法

(1)数据收集.

实证数据来自于2012年5月从天涯网络社区下载的信息。天涯社区创办于1999年3月, 自创立以来, 以其开放、包容、充满人文关怀的特色受到全球华人网民的推崇。目前, 天涯社区注册用户超过6 000万, 拥有数百万高忠诚度、高质量用户群所产生的超强人气、人文体验和互动原创内容。在对论坛的主题进行分析后, 笔者选择两个学科领域的问题:中医和食品安全, 原因是有关信息容易引起正确性、可靠性等的辩论。根据天涯的搜索排名, 每个主题选择回复数量前5位的帖子。采集帖子中用户名、发布时间与发布的消息, 共得到13 020条消息(用户在帖子中每一层楼所发布的信息称之为一条消息)。

(2)数据处理.

①一级编码, 关键概念识别。将所有采集到的消息和对应作者放到一个文档中, 按照研究范畴, 对关键概念进行简单标注, 对数据进行初步筛选, 筛选出包含信息质量和可靠性判断的消息。发现共有2 305条消息对其他用户发布的信息质量和可靠性进行了判断。

②二级编码, 建立网络社区信息质量和可靠性的编码体系。根据扎根理论编码法方法, 通过分析部分消息, 提炼出用户使用的信息质量和可靠性评价指标及定义, 据此建立编码体系。但是由于早期研究指出用户在实际应用环境下只会用到有限范围内的几个指标, 因此本文直接采用Rieh[7]、Metzger[14]及 Wathen 等[15]构建的网络社区信息质量和可靠性评价指标体系及其定义构建编码体系, 如图1所示:

图1 网络社区信息质量及可靠性评价编码体系

.

③三级编码, 根据编码体系对获取的数据进行编码。

在确定用户使用的编码标准后, 笔者所在科研团队的两名教师、三名博士生和两名硕士生组成评估小组。为了使小组所有成员能够理解编码标准, 对评价指标的定义进行了讨论, 评估小组对编码标准达成一致。

将2 305条消息分配给小组成员进行第一轮编码, 记录编码结果。小组成员交换手中的数据, 再次进行编码。比较两次的编码结果, 召集成员对编码出现分歧的消息进行再次讨论。如“ 如果说中医是一种科学, 你至少得拿出让人信服的研究数据吧” , 两个小组都用“ 缺乏学术性” 对该条消息进行描述, 因此, 该用户采用的评价指标是“ 缺乏学术性” 。“ 说的不错, 只是现在好的中医医师太少了, 中医的名声都给那些拿着中医当幌子骗人钱财的家伙搞坏了” , 针对该条消息, 小组成员有些认为是采用“ 正确性” 描述, 有些认为采用“ 可信性” 描述, 最终商讨后决定采用“ 正确性” 指标进行评价。除此之外, 为了加强编码的可靠性, 删除不能明确编码的消息。重复检查编码, 并对编码进行精炼, 直到发现代码适当地描述了数据, 没有任何异常。

④通过描述性统计方法对数据进行分析。

计算每个帖子的发帖数量和参与者数量百分比; 计算网络信息质量的用户评价指标数量百分比; 最后, 统计频繁使用的评价指标。

4 研究结果

对采集到的网络数据进行处理后, 共获得2 187条已编码的消息, 其中中医主题1 164条, 食品安全主题1 023条。进行用户统计时发现中医主题中63.4%的用户以及食品安全主题中71.3%的信息发布者只写了一条消息。这表明在网络社区话题讨论过程中, 少部分的用户产生了大量的信息。在中医和食品安全两个主题中, 统计数据如表3所示:

表3 信息质量和可靠性评价指标使用统计数据(百分比)
.

可以看出, 用户对信息质量和可靠性的评价主要采用消极标准, 积极标准只有17.88%, 这个结果的产生可能由于网络的虚拟性及开放性, 导致用户信任度降低, 用户更倾向于用消极标准对信息进行评价。2 013条包含信息质量和可靠性评价的消息中, 53.8%只包含一个标准。

4.1 信息质量评价

信息内容质量评价使用12个评价指标, 如表4所示。可以看出, 全面性/狭义信息是最频繁使用的标准(27.90%), 之后是正确性/虚假信息(12.74％)、真实性/缺乏真实性(10.48％)和客观性/偏见(9.68％)。有效性/无效性(2.74%)、具体性/不具体(1.30%)等评价指标使用的频率较低, 有些评价指标用户没有使用, 如多样性/缺乏多样性。这表明用户对信息质量的判断只使用较少的、关键的评价指标。在两个主题中, 消极标准是用户首选, 只有27.90%的用户使用积极标准。中医主题使用积极标准总计为35.05%, 消极标准为64.95%; 食品安全主题使用积极标准总计为22.34%, 消极标准为77.66%。在中医主题中, 最常使用的评价指标是客观性/偏见(15.13%), 在食品安全中最频繁使用的是全面性/狭义信息(41.26%)。

表4 信息质量评价指标统计数据(百分比)
.

4.2 信息可靠性

与信息内容质量研究结果相似, 在对信息可靠性进行评价的时候用户仍然很少使用积极标准。可靠性评价如表5所示:

表5 信息可靠性评价指标统计数据(百分比)
可以看出, 可识别性/不可识别是首要的评级指标(26.29%)。作者声誉是另外一个频繁使用的指标, 与专业性/不专业相似。研究发现有大量的评价指标很少使用。在两个主题中只有13.91%的用户使用积极标准。在对作者可靠性评价中, 两个主题基本上没有差别。但是中医主题较食品安全主题更频繁使用偏见评价指标。中医主题对作者可靠性评价使用积极标准总计为17.69%, 消极标准为82.31%; 食品安全主题使用积极标准总计为8.90%, 消极标准为91.10%。研究结果表明, 作者的可靠性通过大量的附加评价指标如具有说服力、诚实性、表达能力进行评价。

4.3 信息质量和信息可靠性之间的关系

为了避免数据过于分散, 在对信息质量和信息可靠性数据进行分析时, 没有对每个主题进行单独统计。信息质量和信息可靠性评价指标共同使用的频率是445。为了使结果更集中, 只对共同使用频率为10或10次以上的评价指标进行统计。虚假信息和作者声誉(消极)共同使用的频率最高(55次)。信息偏见(146次)、虚假信息(108次)和缺乏专业性(87次)等信息内容评价指标与信息可靠性联系紧密; 作者声誉(消极)、说服性、不诚实可以用于评价信息内容质量, 具体数据如表6所示:
表6 信息内容质量评价指标和作者可靠性评价.

指标共同使用统计数据(单位:次)

信息内容质量标准
信息
偏见		缺乏
真实
性		虚假
信息		信息
不具
体		信息
无用		缺乏
专业
性
某一作者可靠性标准
与各个信息内容质量
标准共同使用的
次数合计
作者可靠性标准
作者声誉(消极)42552118136
主题偏见23161049
缺乏证据29171258
缺乏公平13161342
不诚实2421121572
说服性443276
某一信息内容质量标准
与作者可靠性各个标准
共同使用的次数合计		14629108422187
在信息质量评价中, 信息偏见与作者声誉(消极)、说服性密切相关, 说明用户如果认为信息内容存在偏见, 那么该作者的声誉和说服性同时降低。虚假信息与作者声誉(消极)、不诚实相关, 说明用户将信息内容虚假与作者消极声誉、不诚实联系在一起。用户将缺乏专业性与说服性共同使用说明如果信息内容缺乏专业性, 那么作者的说服性也会降低。

在信息可靠性评价中, 作者声誉(消极)与信息无用性联系在一起, 说明如果作者的声誉不好, 则他发表的信息内容被认为是无用的。作者的主题偏见与信息偏见相关, 说明如果作者对某个主题有偏见的话, 那么他发布的信息内容也可能存在偏见。作者缺乏证据与信息内容缺乏真实性评价联系在一起, 说明有力的证据是信息内容真实的保证。作者声誉(消极)与缺乏专业性频繁同时使用, 说明如果信息内容不具备专业性, 那么发布信息内容的作者可靠性水平将降低。所有的共同使用数据分析表明, 在对网上社区敏感话题的信息质量和可靠性评价过程中, 主要使用有限的几个评价指标。

5 结 语

本文清晰划分了信息质量与信息可靠性之间的关系, 指出信息质量与信息内容质量概念相近, 信息可靠性则关注作者的可靠性; 使用较为广泛的评价指标:信息内容质量评价包含13个指标, 作者可靠性评价包含13个指标, 这些指标中只有少数被频繁使用; 将评价指标细化成消极标准和积极标准。实证结果表明, 用户倾向于使用消极标准进行评价。在网络社区中对信息质量和信息可靠性的判断非常频繁, 交流的匿名性与话题的敏感性导致信息质量和可靠性判断的复杂性, 用户对网络信息信任度较低, 因此更倾向于使用消极标准。

参考文献
[1] Barry C L. User-defined Relevance Criteria: An Exploratory Study[J]. Journal of the American Society for Information Science, 1994, 45 (3) : 149-159. [本文引用:2]
[2] Barry C L, Schamber L. Users’ Criteria for Relevance Evaluation: A Cross-situational Comparison[J]. Information Processing and Management, 1998, 34 (2-3) : 219-236. [本文引用:1] [JCR: 1.119]
[3] Schamber L, Bateman J. User Criteria in Relevance Evaluation: Toward Development of a Measurement Scale[C]. In: Proceedings of the 59th Annual Meeting of the American Society for Information Science, Baltimore, MD, USA. Medford, NJ, USA: Learned Information, 1996. [本文引用:1]
[4] Crystal A, Greenberg J. Relevance Criteria Identified by Health Information Users During Web Searches: Research Articles[J]. Journal of the American Society for Information Science and Technology, 2006, 57 (10) : 1368-1382. [本文引用:1] [JCR: 2.081]
[5] Maglaughlin K L, Sonnenwald D H. User Perspectives on Relevance Criteria: A Comparison Among Relevant, Partially Relevant, and Not-relevant Judgments[J]. Journal of the American Society for Information Science and Technology, 2002, 53 (5) : 327-342. [本文引用:1] [JCR: 2.081]
[6] Hirsh S G. Children’ s Relevance Criteria and Information Seeking on Electronic Resources[J]. Journal of the American Society for Information Science, 1999, 50 (14) : 1265-1283. [本文引用:1]
[7] Rieh S Y. Judgement of Information Quality and Cognitive Authority in the Web[J]. Journal of the American Society for Information Science and Technology, 2002, 53 (2) : 145-161. [本文引用:4] [JCR: 2.081]
[8] Savolainen R, Kari J. User-defined Relevance Criteria in Web Searching[J]. Journal of Documentation, 2006, 62 (6) : 685-707. [本文引用:1]
[9] Bateman J. Modeling the Importance of End-user Relevance Criteria[C]. In: Proceedings of the 62nd Annual Meeting of the American Society for Information Science, Washington, DC, USA. Medford, NJ: Information Today, 1999. [本文引用:2]
[10] 刘冰, 卢爽. 基于用户体验的信息质量综合评价体系研究[J]. 图书情报工作, 2011, 55 (22) : 56-59. (Liu Bing, Lu Shuang. Information Quality Comprehensive Evaluation System Based on User Experience[J]. Library and Information Service, 2011, 55 (22) : 56-59. ) [本文引用:1] [CJCR: 1.0423]
[11] 徐静. 网络信息资源的质量和评价[J]. 图书馆学研究, 2005 (9) : 49-50. (Xu Jing. Quality and Evaluation of Network Information Resource[J]. Researches in Library Science, 2005 (9) : 49-50. ) [本文引用:1] [CJCR: 1.6079]
[12] 刘雁书, 方平. 网络信息质量评价指标体系及可获取性研究[J]. 情报杂志, 2002, 21 (6) : 10-12. (Liu Yanshu, Fang Ping. System and Availability of Criteria for Evaluating Web Information Content[J]. Journal of Information, 2002, 21 (6) : 10-12. ) [本文引用:1]
[13] 李莉, 甘利人, 谢兆霞. 基于感知质量的科技文献数据库网站信息用户满意模型研究[J]. 情报学报, 2009, 28 (4) : 565-581. (Li Li, Gan Liren, Xie Zhaoxia. Building Satisfaction Model for Information Users Based on Perceived Quality of Academic Database Websites[J]. Journal of the China Society for Scientific and Technical Information, 2009, 28 (4) : 565-581. ) [本文引用:1] [CJCR: 1.1348]
[14] Metzger M J. Making Sense of Credibility on the Web: Models for Evaluating Online Information and Recommendations for Future Research[J]. Journal of the American Society for Information Science and Technology, 2007, 58 (13) : 2078-2091. [本文引用:3] [JCR: 2.081]
[15] Wathen C N, Burkell J. Believe It or Not: Factors Influencing Credibility on the Web[J]. Journal of the American Society for Information Science and Technology, 2002, 53 (2) : 134-144. [本文引用:3] [JCR: 2.081]
[16] Hilligoss B, Rieh S Y. Developing a Unifying Framework of Credibility Assessment: Construct, Heuristics, and Interaction in Context[J]. Information Processing and Management, 2008, 44 (4) : 1467-1484. [本文引用:1] [JCR: 1.119]
[17] 费小东. 扎根理论研究方法论: 要素、研究程序和评判标准. 公共行政评论[J]. 公共行政评论, 2008 (3) : 23-29. (Fei Xiaodong. Grounded Theory Methodology: Tenets, Procedures and Criteria for Evaluation[J]. Journal of Public Administration, 2008 (3) : 23-29. ) [本文引用:1] [CJCR: 0.75]
[18] 石玲, Gisclair J, 陆祖宏. 运用扎根理论分析大学生网络使用偏好及建议[J]. 东南大学学报: 哲学社会科学版, 2009, 11 (3) : 116-119. (Shi Ling, Gisclair J, Lu Zuhong. Grounded Theory vs College Students’ Net Use Preference and Its Implications[J]. Journal of Southeast University: Philosophy and Social Science, 2009, 11 (3) : 116-119. ) [本文引用:1] [CJCR: 0.689]